Tháng 11 năm 1986, ông làm Thứ trưởng thứ nhất Bộ Nội vụ [3] (nay là Thứ trưởng thường trực Bộ Công an Việt Nam) và đến tháng 2 năm 1987, ông được bổ nhiệm giữ chức vụ Bộ trưởng. Sau đó, ông được phong là Đại tướng (tháng 5 năm 1989) và trở thành Đại tướng đầu tiên của Công an nhân dân Việt Nam.

Ông là Ủy viên Ban Chấp hành Trung ương Đảng khóa IV, V và VI (1978-1991), ủy viên Bộ Chính trị khóa VI (1986-1991), là đại biểu Quốc hội các khóa VI, VII, VIII; Ủy viên Hội đồng Quốc phòng khóa VIII.

Nghỉ hưu từ năm 1991, ông về sinh sống tại Thành phố Hồ Chí Minh, tập trung viết hồi ký và các hoạt động xã hội.

Ông mất lúc 8h sáng ngày 28 tháng 5 năm 2007 tại Bệnh viện Quân y 108 (Hà Nội).Tang lễ được tổ chức theo nghi thức nhà nước. sau đó Linh cữu Đại tướng Mai Chí Thọ được an táng tại Nghĩa trang Thành phố Hồ Chí Minh.